Towards an architectural framework for intelligent virtual agents using probabilistic programming

We present a new framework called KorraAI for conceiving and building embodied conversational agents (ECAs). Our framework models ECAs' behavior considering contextual information, for example, about environment and interaction time, and uncertain information provided by the human interaction partner. Moreover, agents built with KorraAI can show proactive behavior, as they can initiate interactions with human partners. For these purposes, KorraAI exploits probabilistic programming. Probabilistic models in KorraAI are used to model its behavior and interactions with the user. They enable adaptation to the user's preferences and a certain degree of indeterminism in the ECAs to achieve more natural behavior. Human-like internal states, such as moods, preferences, and emotions (e.g., surprise), can be modeled in KorraAI with distributions and Bayesian networks. These models can evolve over time, even without interaction with the user. ECA models are implemented as plugins and share a common interface. This enables ECA designers to focus more on the character they are modeling and less on the technical details, as well as to store and exchange ECA models. Several applications of KorraAI ECAs are possible, such as virtual sales agents, customer service agents, virtual companions, entertainers, or tutors

Base de données d'une expérience de BCI basée sur l'EEG en Réalité Virtuelle et sur PC

We describe the experimental procedures for a dataset that we have made publicly available at https://doi.org/10.5281/zenodo.2605204 in mat (Mathworks, Natick, USA) and csv formats. This dataset contains electroencephalographic recordings on 21 subjects doing a visual P300 experiment on PC (personal computer) and VR (virtual reality). The visual P300 is an event-related potential elicited by a visual stimulation, peaking 240-600 ms after stimulus onset. The experiment was designed in order to compare the use of a P300-based brain-computer interface on a PC and with a virtual reality headset, concerning the physiological, subjective and performance aspects. The brain-computer interface is based on electroencephalography (EEG). EEG data were recorded thanks to 16 electrodes. The virtual reality headset consisted of a passive head-mounted display, that is, a head-mounted display which does not include any electronics at the exception of a smartphone. This experiment was carried out at GIPSA-lab (University of Grenoble Alpes, CNRS, Grenoble-INP) in 2018, and promoted by the IHMTEK Company (Interaction Homme-Machine Technologie). The study was approved by the Ethical Committee of the University of Grenoble Alpes (Comité d’Ethique pour la Recherche Non-Interventionnelle). Python code for manipulating the data is available at https://github.com/plcrodrigues/py.VR.EEG.2018-GIPSA. The ID of this dataset is VR.EEG.2018-GIPSA.Dans ce document, nous décrivons une expérimentation dont les données ont été publiées sur https://doi.org/10.5281/zenodo.2605204 aux formats mat (Mathworks, Natick, USA) et csv. Ce jeu de donnée contient les enregistrements électroencéphalographiques (EEG) de 21 sujets durant une expérience de type ‘P300 visuel’ sur PC (personal computer) et en VR (virtual reality). Le P300 visuel est une perturbation du signal EEG apparaissant 240-600 ms après le début d'une stimulation visuelle. Le but de cette expérience était de comparer l'utilisation d'une interface cerveau-machine (ICM) basée sur le P300, sous PC et avec un casque de VR. Cette comparaison portait sur les aspects physiologiques, subjectifs et la performance de l’ICM entre PC et VR. L’ICM était basée sur l'EEG. L'EEG de chaque sujet a été enregistré grâce à 16 électrodes réparties sur la surface du scalp. Le casque de VR était ‘passif’, c'est à dire qu'il ne comportait aucune électronique à l'exception d'un smartphone utilisé pour la virtualisation. L'expérience a été menée au GIPSA-lab (Université de Grenoble-Alpes, CNRS, Grenoble-INP) en 2018 dans le cadre d'une thèse d'entreprise avec la société IHMTEK (Interaction Homme-Machine technologie). L'étude a été approuvée par le comité d'éthique de l'université Grenoble-Alpes (Comité d'Ethique pour la Recherche Non-Interventionnelle). Nous fournissons également une implémentation python pour manipuler les données à https://github.com/plcrodrigues/py.VR.EEG.2018-GIPSA. L'identifiant de cette base de donnée est VR.EEG.2018-GIPSA

Brain Invaders : Données EEG d'une Expérience avec une Interface Cerveau-Ordinateur Adaptive et Non-Adaptive.

We describe the experimental procedures for a dataset that we have made publicly available at https://doi.org/10.5281/zenodo.1494163 in mat and csv formats. This dataset contains electroencephalographic (EEG) recordings of 24 subjects doing a visual P300 Brain-Computer Interface experiment on PC. The visual P300 is an event-related potential elicited by visual stimulation, peaking 240-600 ms after stimulus onset. The experiment was designed in order to compare the use of a P300-based brain-computer interface on a PC with and without adaptive calibration using Riemannian geometry. The brain-computer interface is based on electroencephalography (EEG). EEG data were recorded thanks to 16 electrodes. Data were recorded during an experiment taking place in the GIPSA-lab, Grenoble, France, in 2013 (Congedo, 2013). Python code for manipulating the data is available at https://github.com/plcrodrigues/py.BI.EEG.2013-GIPSA. The ID of this dataset is BI.EEG.2013-GIPSA.Dans ce document, nous décrivons une expérimentation dont les données ont été publiées sur https://doi.org/10.5281/zenodo.1494163 aux formats mat et csv. Ce jeu de donnée contient les enregistrements électroencéphalographiques (EEG) de 24 sujets durant une expérience sur les interfaces cerveau-ordinateur de type ‘P300 visuel’. Le P300 visuel est une perturbation du signal EEG apparaissant 240-600 ms après le début d'une stimulation visuelle. Le but de cette expérience était de comparer l'utilisation d'une interface cerveau-machine (ICM) basée sur le P300, sous PC, avec et sans calibration adaptive en utilisant la géométrie Riemannienne. L'EEG de chaque sujet a été enregistré grâce à 16 électrodes réparties sur la surface du scalp. L'expérience a été menée au GIPSA-lab (Université de Grenoble-Alpes, CNRS, Grenoble-INP) en 2013 (Congedo, 2013). Nous fournissons également une implémentation python pour manipuler les données à https://github.com/plcrodrigues/py.BI.EEG.2013-GIPSA. L’identifiant de cette base de données est BI.EEG.2013-GIPSA

Brain Invaders Cooperative versus Competitive: Multi-User P300- based Brain-Computer Interface Dataset (bi2015b)

We describe the experimental procedures for a dataset that we have made publicly available at https://doi.org/10.5281/zenodo.3267307 in mat and csv formats. This dataset contains electroencephalographic (EEG) recordings of 44 subjects playing in pair to the multi-user version of a visual P300 Brain-Computer Interface (BCI) named Brain Invaders. The interface uses the oddball paradigm on a grid of 36 symbols (1 or 2 Target, 35 or 34 Non-Target) that are flashed pseudo-randomly to elicit the P300 response. EEG data were recorded using 32 active wet electrodes per subjects (total: 64 electrodes) during four randomised conditions (Cooperation 1-Target, Cooperation 2-Targets, Competition 1-Target, Competition 2-Targets). The experiment took place at GIPSA-lab, Grenoble, France, in 2015. Python code for manipulating the data is available at https://github.com/plcrodrigues/py.BI.EEG.2015b-GIPSA. The id of this dataset is bi2015b.Dans ce document, nous décrivons une expérimentation dont les données ont été publiées sur https://doi.org/10.5281/zenodo.3267307 aux formats mat et csv. Ce jeu de donnée contient les enregistrements électroencéphalographiques (EEG) de 44 sujets jouant par paires à une version multi-utilisateurs du jeu Brain Invaders (Congedo et al., 2011), une interface cerveau-ordinateur de type ‘P300 visuel’. L’interface repose sur le paradigme oddball avec une grille de 36 symboles (1 ou 2 Targets, 35 ou 34 Non-Targets) qui clignotent de façon pseudo-aléatoire afin de produire un P300, un potentiel évoqué apparaissant environ 300 ms après le début d’une stimulation. L'EEG de chaque sujet a été enregistré grâce à 32 électrodes humides réparties sur le scalp (total : 64 électrodes par pair), au cours de quatre sessions expérimentales randomisées (Cooperation 1-Target, Cooperation 2-Targets, Competition 1-Target, Competition 2-Targets). L'expérience a été menée au GIPSA-lab (Université de Grenoble-Alpes, CNRS, Grenoble-INP) en 2015. Nous fournissons également une implémentation python pour manipuler les données disponibles https://github.com/plcrodrigues/py.BI.EEG.2015b-GIPSA. L’identifiant de cette base de données est bi2015b

Recommendations for Integrating a P300-Based Brain Computer Interface in Virtual Reality Environments for Gaming

The integration of a P300-based brain–computer interface (BCI) into virtual reality (VR) environments is promising for the video games industry. However, it faces several limitations, mainly due to hardware constraints and constraints engendered by the stimulation needed by the BCI. The main limitation is still the low transfer rate that can be achieved by current BCI technology. The goal of this paper is to review current limitations and to provide application creators with design recommendations in order to overcome them. We also overview current VR and BCI commercial products in relation to the design of video games. An essential recommendation is to use the BCI only for non-complex and non-critical tasks in the game. Also, the BCI should be used to control actions that are naturally integrated into the virtual world. Finally, adventure and simulation games, especially if cooperative (multi-user) appear the best candidates for designing an effective VR game enriched by BCI technology